Anthropic联创Daniela谈创业心路历程；Claude模型差异；长文本对话的挑战；B端与C端策略；AI原生是什么样子？
在7月13日的Stripe AI Day上，Stripe的企业战略负责人Alex Komoroske与Anthropic联合创始人兼总裁Daniela Amodei进行了一场对话。
Anthropic是一家专注于AI安全与研究的公益公司，自2月份以来，已与谷歌达成合作伙伴关系，完成了4.5亿美元的融资，并推出了Claude聊天机器人（7月11日发布了最新版本Claude 2）。
在过去两年中，Anthropic不仅紧锣密鼓地开发了大型语言模型，还不断扩大公司规模，并在媒体、政治和科技领域引领了人工智能的讨论。在这种增长势头下，Anthropic选择了Stripe作为合作伙伴，相信Stripe支付平台的可扩展性和国际化关注将帮助它为全球不断增长的客户提供服务。
Amodei向Stripe解释了为什么她认为如此广泛的使命至关重要，以及为什么她认为一个旨在造福全人类的公司能在竞争激烈的市场中取得成功。
全文内容整理如下：
Stripe>OpenAI>Anthropic
Claude2进展与各家模型差异
长文本上下文对话的挑战
在 B端和C端不同的用户策略
构建安全性的挑战与方法
技术方向偏了，最担心什么
AI原生公司该是什么样子？
大家enjoy ～👻
PS：文末附8月两场AI活动，分别在谷歌北京办公室与亚马逊（杭州）举办，感兴趣的朋友欢迎报名 🥳
Stripe>OpenAI>Anthropic
Alex Komoroske
首先，我想问的是回到Stripe办公室的感觉如何？
Daniela Amodei
上一次我在Stripe办公室是什么时候。那时候我还在Stripe待了5年以上，于2018年离开的。我记得当时想，哇，这家公司太棒了，太令人印象深刻了，但是太大了。当时大概有1000人左右。所以能走进来，看到这个漂亮的办公室，这么多才华横溢的人，真是让人难以置信。
Alex Komoroske
告诉我们更多关于你决定共同创办Anthropic的背后故事吧，是什么推动你们走到了这一步？
Daniela Amodei
在Stripe之后，我加入了OpenAI，待了2年多。我和我的联合创始人们有一个明确的研究愿景。这个愿景是，我们在OpenAI曾经参与过GPT-2和GPT-3等项目，我们在那里共事过。有些团队成员之前在Google工作过，涉及人工智能的各种能力和安全性。我们共同认为，训练模型时应以安全性和人类为中心，并且非常期待一起实现这个愿景。
Alex Komoroske
作为创始人，你的角色有何不同？我认为这是你第一次担任创始人，对吗？与之前的经历相比，有何不同？
Daniela Amodei
是的，天哪，有很多不同。我认为Stripe和OpenAI对我来说都是不可思议的磨练机会。在这两家公司，我得到了难以置信的机会和学习。这两家公司是我最尊敬的公司之一，真心如此。作为创始人，经历完全不同，因为你经历了不同的阶段。
我加入Stripe时，公司大约有40个人，加入OpenAI时大约有60个人。但我从未经历过初始阶段的成长。我一直对此很好奇。实际上，这是最不有趣和最不光彩的阶段，但同时也是最令人兴奋的阶段。
我们的首席科学官，我和其他创始人之一，当时他在管理薪资方面完全一窍不通，他问：“我该怎么点这个按钮？这个月我们给所有人发工资了吗？”我们当时只能回答：“如果我们漏发了怎么办？”这是典型的创业故事，你会意识到作为创始人有很多事情你做得不好。
同时，你真的学会依靠与你一起做事的其他人，因为这些经历会让你们之间形成一种特殊的羁绊，这将会持续下去，因为你们都经历了那个时刻，那时我们不知道是否付给了所有人工资，那是很有趣的经历。所以，总的来说，真的很不错。
观众
当你离开OpenAI的时候，你在那里待了两年。在融资时，投资人是否问过你，你们与OpenAI有何不同？
Daniela Amodei
我认为那时很多问题，当然现在的情况已经变化。我们当时主要谈论的是研究和安全性，将其作为主要重点。我认为我们的观点是安全性是非常有价值且经济可行的。这是一个故事，考虑到我们联合创始人的背景，对我们来说相当直观。
观众
你从stripe、openAI和AI方面带到anthropic的一个文化方面的东西，你认为比anthropic的文化更好，另外，你决定在anthropic中有什么不同或想要修复的东西，比如之前的文化方面的经验？
Daniela Amodei
我喜欢这个问题。stripe和OpenAI是不同的公司，都非常令人印象深刻。从stripe带来的一点，我认为最令我印象深刻的是他们的思想严谨性。我觉得这是非常令人印象深刻的。而且我认为这里有一个很好的协调性，因为我们的创始团队大多数是博士学位，我们有七位物理学博士学位，我们的前10名员工中有七位物理学博士学位。我们希望真正理解和知道真相，对事物进行智力、实证和系统化的探究，比如在解决安全问题方面。我认为在这方面，stripe和anthropic之间存在一种共鸣。
我不知道我们是否在这方面取得了成功，但我认为这种思维方式的一个缺点是有时候会对决策过度思考。有时候会出现这样的决策：我们应该在办公室里准备一些零食。也许花生是可以的。我们也可以有腰果。我认为过度思考几乎是这种思维方式的弱点。
Claude2进展与各家模型差异
Alex Komoroske
首先恭喜你们，你们在过去几天里进行了发布。Claude2进展如何？
Daniela Amodei
谢谢。我们对此感到很满意，也感到很兴奋。Claude2的发布是在星期二，现在已经对企业用户开放。如果你是企业用户，可以通过我们的开发者控制台使用，而个人用户也可以在Claude AI上体验Claude。
Alex Komoroske
你们在发布中看到了一些有趣的用例吗？
Daniela Amodei
我们注意到人们对文件上传系统非常感兴趣。这个功能很特别，你们可能比我更清楚，发布新产品或新功能时，用户最终喜欢的往往不是你预期的。但我们收到了一些正面的反馈，特别是关于能够拥有更长的上下文窗口，并能够上传更长的文件，并让Claude对它们进行阅读、提取信息和总结。在过去几天里，我们确实获得了一些宝贵的经验。
Alex Komoroske
那么，Claude与其他模型相比有什么不同？它有何独特之处？
Daniela Amodei
我想我们之前谈到过，眼下正是一个有趣时刻，这些不同的模型几乎拥有了自己的个性，对吧？这或许有点拟人化，但当你尝试使用不同的模型时，你会发现它们有不同的优势和劣势。而从我们的用户反馈来看，Claude给人留下友好、温暖、富有对话性的印象。
Claude非常有礼貌，如果它不能回答问题，会说：“非常抱歉，我不能回答你的问题。”我倾向于认为Claude是一位非常热心的初级助理，它是一个真正希望帮助人的工具。这是从性格上来说。至于技能和能力方面，我们的目标是使Claude尽可能安全。
所以相较于Claude 1，我们看到Claude在诚实、无害和有用方面都有所进步。当然，市场上没有哪个大型语言模型在这些方面是完美的，但我们对Claude在能力和诚实、无害和有用方面的进步感到非常自豪。
观众
我对Claude相对于Bard和ChatGPT3.5印象深刻。你认为数据和数据质量的作用如何，特别是近期微软出版的“只需要教科书”的文章表明这是关键问题，与你的主要愿景相吻合，对吧？
AI的安全性，你知道，对齐可能是个棘手的问题。不要说了。但是总体上，安全性是个难题。你们如何在训练过程中解决这个问题？在使用数据方面，你是否与其他公司面临相同的问题，比如爬取Twitter和其他互联网数据源？如果你们面临挑战，你们打算如何处理？
Daniela Amodei
关于数据的话题，以及它如何与隐私、安全和版权等问题相互关联，我认为我们似乎在见证这些问题与AI加速发展的讨论几乎是平行的轨迹。这是因为在这之前，这些问题在很大程度上并没有以同样的方式出现。我认为在这里，你知道，我会说我们正处在所有这些决策、规范和法律制定的过程中。
因为今天的决策会导致关于如何训练数据、保留数据、存储数据的法律正在制定。我认为我们已经在与政策制定者和其他关心这些问题的人建立紧密联系，因为这是非常重要的。这在很大程度上涉及到大型语言模型的开发或者说普遍意义上的生成AI。不仅仅是语言，还涉及到其他形式的模态。我认为对于更广泛的领域来说，我们需要对这些根本性问题进行深思熟虑、全面而微妙的处理。
数据质量非常重要。怎样衡量数据质量？可能研究者会给出更好的答案。但我个人真正的答案是，不仅仅是数据本身的质量，还有你如何对待数据，对吧？你如何清洗它？如何策划它？如何分析它？如何进行训练？我认为这实际上是一个非常有趣的新兴工作领域。比如数据工程师，很难招聘到出色的数据工程师。他们实际上是AI公司中最有价值的人之一，因为整体的输出和模型的最终结果在很大程度上取决于这个初期阶段。对不起，我忘记了你的问题的第一部分。
长文本上下文对话的挑战
Alex Komoroske
Claude之所以与众不同的一点是它巨大的上下文窗口，有100,000个标记，我想这是所有现有模型中最大的窗口。在扩展上下文窗口到如此之长的过程中，你们遇到了哪些挑战？
Daniela Amodei
我会说，我的研究同事们可能能给你更多关于困难和挑战的故事。但同样，这也涉及到权衡的问题，对吧？扩展上下文窗口会牺牲其他方面的能力和使用性。所以我们选择优先考虑这一点，因为我们看到这样的潜在用例，即用户可以给Claude提供更多的信息。
我们已经开始看到，LLMs（大型语言模型）的一些价值在于它们能够在广泛的信息语料库中进行搜索。对于它是否能够处理200,000个标记或500,000个标记的情况，我可能不是合适的人去评论。但我认为这可能是行业的发展方向。
Alex Komoroske
我们在今晚的讨论中谈到了很多关于语义检索的内容，涉及到一些基于嵌入的索引技术。当你将需要总结的事实提供给它们时，效果会明显比直接训练的要好得多。因此，看到更大上下文窗口能够提供的信息量，以及更大上下文窗口能让你塞入什么样的信息，我认为这很有趣。
我记得Claude 1中，你们提到了在上下文中包含整个《了不起的盖茨比》小说，这也是非常令人惊叹的。你们在实际使用中发现了一些有趣的用例，人们是如何利用这个极大上下文窗口来做一些酷炫的事情的？
Daniela Amodei
这是个很棒的问题。我认为通常是用于重要但有点平凡的任务。这也是我们提到“初级助理”这个概念的原因，对吧？比如说，你要阅读大量信息，比如长篇备忘录、法律简报、长时间的录像会议、SEC备案文件，或者财报等等。
这些都是非常好的用例，如果由人类来做，可能需要花费数小时甚至数天的时间。而Claude几乎可以立刻完成这些任务。然后你还可以向它询问相关信息，比如财报中的要点，或者在这些文章中发现了哪些有趣的信息。
在 B端和C端不同的用户策略
Alex Komoroske
你们也有一个非常明确的企业定位，这是如何体现的？对于企业来说，你们优先考虑了哪些事情？
Daniela Amodei
从组织的角度来看，这意味着我们投资了一个我们称之为“产品研究”的团队。这听起来像是将两个组织的部分混合在一起，但实际上我认为这是一个非常有趣而且非常特殊的挑战，就是如何在研究人员和改进LLM技术方面成为专家的人之间建立这样一座桥梁，然后将其转化为一种更适合大型企业需求的东西。
对我们来说，其中一个有趣之处在于，我们学到了很多关于如何推广这些趋势。大型企业通常会说，嘿，我想在某些数据上进行微调，并将其应用于某个概念。但是只要稍微改变一些细节，这通常也适用于行业的其他部分。
Alex Komoroske
你们这样的公司和其他类似的公司都非常注重研究，这在通常情况下，初创公司大多关注产品化。这在资源分配上可能会带来哪些挑战？比如如何决定构建什么，如何推出？
Daniela Amodei
这也是一个很好的问题。我认为在价值观、目标和使命方面，每个在Anthropic工作的人都有很多共识。当然，有时候可能存在风格上的差异，对吧？因为研究更多地依赖学术，往往是以研究为基础的方法，它更难以设立即时的具体目标。
有时你必须让研究人员玩耍和探索，他们希望深入研究某个问题。而我认为可解释性，这是我们另一个以研究而闻名的领域，它是一个典型例子，因为很难预测这项研究会走向何方。
因此，制定OKR之类的目标并不一定是这些团队最喜欢的活动。而在产品方面，当然还有一些问题，比如我们想要向多少用户提供服务，需要哪些功能等等。所以我不认为它们之间有意识形态上的冲突，但我认为重要的是将双方的优势和观点融合在一起。
Alex Komoroske
你提到了用户的入驻问题。你们的等待名单上有超过350,000人。你能告诉我一些关于那些迫切希望进入的人的情况吗？
Daniela Amodei
我想说的是，首先，如果你是其中之一，非常感谢你的耐心等待。我们正在尽力而为。如果你是个人用户，现在可以直接访问Claude AI。你会很快得到回复。
对于企业用户，我们一直在尽力将人们从等待名单中踢出去。我们实际上在产品和业务方面的团队相当小，大约只有40人。因此，从运营的角度来看，我们希望确保为每位用户提供出色的体验，并真正帮助他们回答问题，提供支持。我们感谢你们的耐心，我们正在尽全力把等待名单减到零。
观众
关于企业使用案例，是否有什么意外之喜或意外之失？有没有一些特定的用例，企业对此非常兴奋，而你认为不那么兴奋？
Alex Komoroske
我认为首先，对我们来说还处于早期阶段，所以可能还太早去判断。但是，我们确实对传统企业对LLM的潜力感到惊讶。起初，我预期会有更多的大型科技公司，也许是金融服务行业，因为我自己的背景造成了一定的偏见，会看到这些企业可能会看到这些技术的潜在威力，因为它们处在这个领域。
实际上，各行各业都感受到了这项技术的潜力，可以振兴经济中的某些领域，这些领域可能错过了之前的浪潮。我认为这是一个非常有趣和真正激励人心的机会，我们思考如何利用这项技术来帮助其他可能没有跟上金融科技领域发展步伐的领域，帮助他们真正实现自己的愿景。
构建安全性的挑战与方法
Alex Komoroske
我喜欢你提到的个性化的观点。这让我们这些工程师感到非常有趣，我们试图弄清楚这些特性。嗯，它实际上在按照我给它的指令去做的时候效果不好。
正如Ethan Morgan所说，这不是软件，它是一个相当善解人意的东西。我很喜欢你提到的助理的概念。因此，专注于安全性，我想想这会带来很多权衡和挑战。能否谈一下你是如何解决这些问题的，以及其中一些最困难的权衡？
Daniela Amodei
这是个很好的问题。我想我的研究同事们可能会比我更有愁苦的故事。但这是关于权衡的问题，对吧？在使用“帮助、诚实和无害”（HHH）框架进行训练时，帮助性和无害性之间存在一种固有的研究权衡。可以想象，拥有一个完全无害的模型其实是很容易的，因为它只会说：“很抱歉，我不能帮你回答这个问题。”它是一个完全无害的模型。
因此，在后期阶段，我们花了相当多的时间在稍微增加一些有害性、增加一些帮助性、稍微减少一些有害性、稍微减少一些帮助性之间进行微调。当然，我们努力让两者的分数都尽可能高。但这之间确实存在一种固有的权衡。
Alex Komoroske
你们采用了哪些技术来提高安全性？
Daniela Amodei
我们采取了几种不同的方法。如果你对这个话题很感兴趣，我们在网站上发布了安全研究，并提供了17篇论文供你阅读。其中几点突出的技术，尤其是在Claude 2上，我们使用了称为“强化学习从人类反馈中”的技术，这是我们写过的一种技术。
基本上，这是通过人工标注者给模型提供反馈，告诉它“这样更有害一些”或“这样更有帮助一些”。而我认为对我们来说最大的突破之一是“宪法AI”。我们也在博客上发表了相关内容，你可以去看看。
宪法AI的基本思想是，我们不是在对特定回答进行高频率的评分或反馈，而是通过宪法式的指导来指示模型，比如告诉它“生气或对人们进行攻击是不好的。你应该对全世界的所有不同类型的人都要思考周全。”我们分享了一些用于训练的文档，如《联合国人权宣言》和行业的信任与安全最佳实践等。这是我们研究上的一项有趣突破。
Alex Komoroske
你对AI模型对齐的未来以机械性解释性持何看法？
Daniela Amodei
我喜欢机械性解释性。我认为机械性解释性是当今许多领域最有趣的研究领域之一。我不是研究人员，所以我可能无法很好地回答这个问题。但我认为，我们能够深入探究生成模型的黑匣子，更好地解释其中发生的事情，这在学术上非常引人入胜。从对齐的角度来看，可能没有银弹。
但一般来说，你对某个东西的理解越深入，可能就越容易注意到可能令人担忧的行为，这是一种经验法则。我相信还有更多细节可以探讨，但我真的认为解释性是一种非常强大的工具，我们只是刚刚触及了表面。用神经科学的类比来说，我们现在可能比当今的神经科学领域落后了10到15年，我们正试图缩小这个差距。
观众
我想知道你们如何思考AI素养作为一种基本技能，与其他形式的素养相结合，因为这是安全性的另一部分，涉及到政策制定者、用户、新闻从业者，确保这些模型尽可能安全。虽然在使用上有很多防护措施，但最终人们对系统和如何使用它们的了解程度将决定结果。
Daniela Amodei
很好的问题。关于AI素养，我有几个想法。首先，我们发布如此多的研究成果，部分原因是为了这个目的。就像之前有人问过的关于机械性解释性或宪法AI的问题，我们试图尽可能开放我们的安全工作和研究，以便这些内容能在整个领域传播。因为我们认为这非常重要。
此外，我们在政策部门设有一个名为“社会影响”的团队。他们的工作是在研究团队和政策团队之间架起桥梁。他们的职责是将可能对政策制定者或其他人很难直观理解的非常技术性的主题转化成简单易懂的内容。这样可以帮助我们的政策团队或其他政策团队在与政府官员或监管机构交流时拿出一些论据，说明为什么在某些地方设置防护措施很重要。我认为这只是一个例子，但我认为有很多方法可以以易懂的方式传达这些信息，而不是学术性的或难以理解的方式。
技术方向偏了，最担心什么
Alex Komoroske
《纽约时报》最近几天刊登了一篇关于你们的文章，非常有趣。其中有一个主题是很多人对如果技术走向错误方向可能发生的事情感到存在恐惧。那么，你会担心什么？
Daniela Amodei
我想说的是，这其实是对AI的一种更广泛的反应，对整个行业而言，事情变化得太快了。也许让我最担心的是我们有这个难得的机会，让AI在世界上产生积极的变革。当然，这种转型潜力和参与可能也带来了一些真实的风险。我可能最担心的是我们作为一个行业，以及更广泛的范围，包括政策制定者、公民社会、学术界和消费者，是否真的能够投入足够的时间，共同思考进入下一阶段的方式，而不是不经意间进入。
Alex Komoroske
关于未来，你有哪些乐观的愿景，AI将为世界做些什么？
Daniela Amodei
我认为这项技术的潜力非常惊人。任何玩过LLM的人，你都会认为，它们当然并不完美，有很多事情它们做不到。我认为这方面谈论得比较少。但是如果你从回顾过去的时间线上进行推断，比如四年前或五年前的GPT-2，还有如今的GPT-4和Claude等等，这只是一个非常短的时间段。
如果你再往前推五年，想象一下这些模型在未来五年内会做什么，我认为这有时候可能让人感到害怕，但同时也非常鼓舞人心。想象一下这样的技术可能在医疗、科学、可再生能源等方面带来的突破，这些强大的工具可以与人类共同创造各种事物。
观众
在Fossie开源会议上，一组顶尖组织正在制定开放获取人工智能的下一阶段的10项原则。这次讨论的基本准则就是如果我喜欢一个AI，我就会与其他喜欢它的人分享它。
然后有人提议增加一个除非这会导致他们丧命的条件，他们接受并加入了这个条件。所以，如果你对引导开源人工智能社区的原则有什么看法，你会添加什么，以及我们如何将开源人工智能领导者纳入谈论中，特别是关于谈话型AI的风险？
Daniela Amodei
关于开源和潜在风险，以及如何将这个社区纳入更广泛的讨论中，我认为这是个很好的问题。首先，我要说AI生态系统非常广泛，正在涌现出各种各样的观点，这些观点都非常有价值。我们以前从未面对过这样的问题，我认为说只有工业界可以参与或只有学术界或只有政策制定者可以参与是错误的。
因此，我真的认为在这里有许多不同观点的讨论空间，包括开源社区。另外，我认为在这之上，看到这个生态系统的发展也是非常有趣的。我认为，与经济或社会的所有不同领域一样，现在还处于早期阶段。未来可能会出现不同的开源版本，持有不同的信念和价值观。
AI原生公司该是什么样子？
Alex Komoroske
这是一个快速发展的领域，很难弄清楚什么样的商业模式会非常强大。人们总是问我未来哪里可能会有竞争优势，但我对所发生的事情难以跟踪。
我只是好奇，你有什么看法？你认为在这个AI世界中创办的公司会是什么样子？它们会有哪些不同？它们会训练自己的模型，使用微调模型，还是使用现成的模型？它们会专门从事某个领域，或是什么样的模样？
Daniela Amodei
首先，未来很难预测，当然，但我认为可以预期会有更多的创新出现。我们可以很容易地想象，哦，只有四五家公司在构建这些LLM，人们只会在其基础上构建，有多少多样性可言？但我认为这些工具的商品化还处于初期阶段。我们看到各种生态系统的出现，就像stripe一样，有平台代理商、个人和企业在构建各种东西。我们看到人们使用这些工具进行非常出乎意料的广泛应用。
我认为，我们现在仍处于漫长的故事的第一章。所以我预计，在接下来的一年、两年或五年内，我们会看到更多的惊喜。
Alex Komoroske
最近有人问了我一个非常有趣和发人深省的问题。她问，你更希望社会有艾萨克·牛顿还是大型语言模型？我很好奇你对这个问题的看法。这个问题很庞大，很复杂。
Daniela Amodei
是的，这是个非常复杂的问题。我觉得给出一个不负责任的回答是，你能否将大型语言模型微调到像艾萨克·牛顿那样的状态，然后保持那样呢？也许这不是一个公平的回答，因为一个预设了另一个，对吧？我们如果没有艾萨克·牛顿，我们是否能够拥有大型语言模型？会不会出现另一个艾萨克·牛顿？他们会在后来出现吗？那会是什么样子？我不知道。
或许今天也有一个与艾萨克·牛顿等价的人物，对吧？我们宁愿拥有今天的杰出智慧还是大型语言模型？我不太确定如何在这两者之间做权衡。我给出这样的回答可能不是你想听到的，我会选择微调艾萨克·牛顿，这样你就能拥有他了。
Reference：
https://www.youtube.com/watch?v=paMkO2cWFpc
活动1：大模型 x 电商 闭门路演 🧑🏻💻
时间：2023.08.02 14:00
地点：亚马逊全球开店亚太培训中心（杭州）
报名：下方扫码报名👇
时间：2023.08.11 13:45
地点：谷歌北京办公室
人数：35人左右
报名：下方扫码报名👇